製造業のデータ統合の課題を解決する、Industrial Data Fabricの可能性

「え？そのデータ活用、古すぎ？」

弊社製造ビジネステクノロジー部では、Classmethod PLC Data To Cloudというサービスの中で、製造現場のPLCデータを可視化し、生産ライン状況の一括状態監視、異常状態検知からのオンコール、設備効率の可視化などを展開していますが、製造業におけるデータは、もちろんPLCだけではありません。

少し例をあげるだけでもこれぐらいのバリエーションがあります。

• CRMシステム（営業・顧客データ）
• PLM（製品エンジニアリング設計データ）
• ERP（財務・サプライヤー・購買管理データ）
• MESまたはMOM（生産データ）
• PLCやSCADAシステム（産業IoTデータ）
• 接続されたデバイス（IoTデータ）

これらを統合してひっくるめて分析して、次の価値に変えていこうというフレームワークが、Industrial Data Fabricです。この記事では、Industrial Data Fabricがいったいどういうものなのか、それが必要とされている背景、解決されるユースケース、AWSと関連する具体的なパートナーソリューション、などといった情報をまとめてお届けします。

まだ日本では広がりきっていない概念ですが、確実に製造業のデータ活用における1つの潮流になるので、今のうちに抑えておいて損はないと思います。

ほな、いってみよ！

この記事は、クラスメソッド発 製造業 Advent Calendar 2024の25日目の記事です。

ハマコーがIndustrial Data Fabricを知った直接のきっかけ

re:Invent 2024のインダストリーブースで、ソリューションアーキテクトの山本さんにHighByteを教えてもらったのが、Industrial Data Fabricを知った直接のきっかけです。当日のインダストリーブースの様子。この展示もめっちゃ面白かった。

re:Invent 2024にてAWSが提示する製造業の未来 - スマートファクトリー展示から | DevelopersIO

このインダストリーブースの一つでHighByteの説明がありました。

この時は「面白い概念だな！」という記憶をもって帰国し、改めて深堀りしてまとめたくなりこの記事を書いています。

Industrial data fabricの概要

Industrial Data Fabric（IDF）は、製造業におけるデータ管理と活用を変える新しいアプローチ。この概念は、製造業が直面する複雑なデータ環境の課題に対応するため提唱されました。

IDFは、製造業の多様なデータソースを統合し、シームレスなデータアクセスと分析を可能にするアーキテクチャフレームワークとして定義されています。主な特徴は以下の通り。

• データ統合: PLCやデータヒストリアン、MES、PLM、ERPなど、異なるシステムからのデータを統合
• リアルタイムアクセス: クラウド、オンプレミス、ハイブリッド環境など、データの保存場所に関わらず、一貫したアクセスを提供
• スケーラビリティ: 製造バリューチェーン全体でデータを活用できるよう、スケーラブルな統合メカニズムを実現
• データの民主化: 組織全体で高品質のデータセットへの簡単なアクセスを可能にし、データ駆動型の意思決定を促進
• コンテキスト化: 生データを意味のある形式に変換し、ビジネスユーザーが直接活用可能

IDFの導入により、製造業者は品質管理、保守、資材管理、プロセス最適化など、複数の業務領域にわたる最適化を実現できます。また、Connected Productからのデータ活用や、エンジニアリングから製造へのスムーズなデータ共有など、新たな価値創造の機会も生まれています。

Industrial data fabricが必要とされている背景はなにか？

上では、一般論としてのIDFについて記載しましたが、そもそもこれが何を解決するのか？どういった課題が背景にあったのか、を知っておいたほうが位置づけがわかりやすいと思うので、そのあたりの背景を以下にまとめました。

IDFは従来のデータ活用アプローチとは異なる特徴を持ち、これらの課題に対応するために開発されています。

直接的な背景はデータカオスの解消

製造業者は複数の基幹システムから膨大なデータを抱えています。製造現場といえばMESやPLCが思い浮かびますが、サプライヤー関連、会計、営業なども含めると関連するデータは多種にわたります。

• CRMシステム（営業・顧客データ）
• PLM（製品エンジニアリング設計データ）
• ERP（財務・サプライヤー・購買管理データ）
• MESまたはMOM（生産データ）
• PLCやSCADAシステム（産業IoTデータ）
• 接続されたデバイス（IoTデータ）

これらの多様なデータソースが、効果的に管理することが困難なデータカオスを生み出しています。

特徴1. データ統合における従来のアプローチとの違い

従来のデータウェアハウスやデータレイクは、データを一箇所に集約することに重点を置いていました。一方、IDFはデータを必ずしも一箇所に集約せず、分散状態のまま活用したり、複数の異なるデータソースを組み合わせて意味のあるものにすることに重点を置いています

特徴2. ユースケースの柔軟性

従来のデータ基盤では、「決まった用途」のために必要なデータを用意することに主眼をおき、ユースケースを特定してデータパイプラインを最適化していました。IDFでは、事前に特定のユースケースを固定化せず必要なデータをいつでも取得可能にし、データドリブンでデータを活用することを意図しています。

特徴3. データ収集・蓄積の必要性

従来のデータ基盤では、データ収集・蓄積の機能を構築する必要がありました。IDFはデータ収集・蓄積の機能構築が不要で仮想化機能でデータが必要になったタイミングでユーザーのサンドボックスにデータを持ってくる方法が主流とのことです。

特徴4. 仕組みがスケーラブル

IDFのアーキテクチャにおいては、スケーラブルで統一された統合メカニズムを提供し、製造バリューチェーン全体でのデータ活用を可能にしています。

全てのIDFソリューションにおいて、この特徴がどこまで実装されているのかは差分が有りそうですが、IDFが従来のデータ基盤と思想が違う点がなんとなく把握できたのでは無いでしょうか？

Industrial Data Fabricの実装に関わる技術要素

これも、それぞれの実装ソリューションによって大きく異なる部分かなと思いますが、IDFに関わる技術要素としては、一般的に以下が挙げられています。

技術要件	主要コンポーネント	効果
データ統合レイヤー	- ETL (Extract, Transform, Load) プロセス - データコネクター - API - データ仮想化技術	データベース、アプリケーション、IoTデバイス、クラウドプラットフォームなど、様々なソースからのデータ取り込みと統合が可能になる
スケーラビリティとエラスティシティ	- クラウドインフラストラクチャ - コンテナ技術 - マイクロサービスアーキテクチャ	変化するニーズやデータ量に応じてインフラストラクチャを柔軟にスケールアップ/ダウンできる
データ管理と分析	- データカタログ - メタデータ管理ツール - 機械学習と人工知能機能 - クエリエンジン	データの発見、アクセス、分析が容易になる
セキュリティとガバナンス	- アクセス制御システム - データ暗号化 - 監査ログ機能 - データリネージツール	データのセキュリティ、プライバシー、コンプライアンスを確保する
ネットワークインフラストラクチャ	- 高帯域幅のネットワーク接続 - エッジコンピューティング機能 - ソフトウェア定義ネットワーク(SDN)	分散したデータソース間の効率的な通信と処理が可能になる
データストレージ	- データレイク - データウェアハウス - NoSQLデータベース	構造化データと非構造化データの両方を効率的に保存・管理できる

データ管理と分析あたりではAI関連の技術が必要となっていたり、データストレージに関してはNoSQLなども含まれているのが注目でしょうか。

Industrial Data Fabricの具体的なソリューションや実装はなにか？

ここまで、ずっと一般的なIndustrial Data Fabricの解説を続けてきましたが、具体的なソリューションを探すことでもうすこしこの界隈でのアプローチが見えてきたので、何点かソリューションを紹介します。

基本的に自分の立場では、新しい概念をAWSでどのように実装するのかが取っ掛かりになるので、そのあたりを軸に調べてみたところ、AWSのソリューションライブラリにそのまんまIndustrial Data Fabricに関するページがあることを発見しました。

https://aws.amazon.com/solutions/industrial/industrial-data-fabric/

冒頭分のDeepL翻訳

製造業および工業企業のオペレーションリーダーは、資産、プロセス、材料、人々など、断片化され、拡散し、サイロ化されたデータソースに頭を悩ませています。これらのデータソースは連携するように設計されていないため、ビジネス上の問題の解決や、データに基づく情報に基づいた意思決定が困難になっています。AWSのIndustrial Data Fabricソリューションは、拡張性があり、統一され、統合されたメカニズムによりデータを資産として活用できるデータ管理アーキテクチャの構築を支援します。高品質なデータセットへの経済的で安全かつ容易なアクセスを提供することで、これらのソリューションは、ビジネスリーダーがデジタル産業変革の基盤を構築し、品質、メンテナンス、材料管理、プロセス最適化など、多くのケースにわたって業務を最適化することを可能にします。

この下にパートナーソリューションが複数紹介されています。

このうち代表的なものを3種、独断と偏見でまとめてみました。

比較項目	Palantir Foundry	HighByte Intelligence Hub	Cognite Data Fusion
URL	https://www.palantir.com/platforms/foundry/	https://highbyte.com/intelligence-hub	https://www.cognite.com/ja/product/cognite-data-fusion
概要	包括的なエンタープライズデータプラットフォーム。データ統合、分析、AIを単一のプラットフォームに統合し、複雑な組織的問題の解決を支援。セキュリティと柔軟性に優れ、大規模なデータセットの管理に適している。	エッジ向けの産業用データ統合・標準化プラットフォーム。産業データのモデル化、コンテキスト化、統合を実現。IT/OTの連携を促進し、データフローを合理化。リアルタイムデータ処理に強み。	包括的な産業向けデータオペレーティングシステム。データの統合、コンテキスト化、可視化を提供。デジタルツイン技術を活用し、産業データの価値を最大化。AIと機械学習の統合を容易にする。
アーキテクチャの特徴	マイクロサービスベースのアーキテクチャ。データの統合、変換、分析を一元管理するプラットフォーム。スケーラビリティと柔軟性に優れ、クラウドとオンプレミスの両環境に対応。	エッジコンピューティングに最適化されたモジュラー設計。スケーラブルで、多様な産業プロトコルとデータモデルをサポート。クラウドとオンプレミス環境の両方に対応し、分散アーキテクチャを採用。	クラウドネイティブで設計されたオープンアーキテクチャ。API駆動型で、既存のITシステムとの統合が容易。データのコンテキスト化と関係性のモデリングに特化したデータモデルを採用。
無料トライアルの有無	公式には無料トライアルの提供なし。デモや個別相談を通じて製品評価を行う。	30日間の無料トライアルを提供。製品の機能を実環境で評価可能。	公式には無料トライアルの提供なし。カスタマイズされたデモや個別相談を通じて製品評価を実施。
導入に向けて何が必要か	Palantirの専門チームによる導入支援が必要。組織のニーズに合わせたカスタマイズが一般的。導入には比較的長期間を要する場合がある。	自社での導入が可能。包括的なドキュメントとトレーニングプログラムを提供。技術サポートも利用可能。比較的短期間での導入が可能。	Cogniteまたは認定パートナーによる導入支援が推奨される。組織のデータ環境に合わせたカスタマイズが一般的。導入期間は組織の規模とニーズにより変動。
コスト	エンタープライズ向けの価格設定。具体的な価格は公開されておらず、組織のニーズと使用規模に応じたカスタム価格設定。長期契約が一般的。	サブスクリプションモデルを採用。価格はノード数（データソース数）に基づいて設定される。中小規模の導入から始めて段階的に拡張可能。具体的な価格は問い合わせが必要。	使用量ベースの価格設定モデルを採用。データ処理量やユーザー数に応じて料金が変動。具体的な価格はカスタム見積もりとなり、長期契約オプションも提供。

一口にIDFのソリューションとはいえ、得意分野がいくらか異なっているのがなんとなく把握できるかなと思いますが、ここでは、ユースケースとしてバランスが良さそうで導入も比較的楽にできそうなCognite Data Fusionについてもう少し深ぼってみます。

Cognite Data Fusion（CDF）とは

https://www.cognite.com/en/product/cognite_data_fusion_industrial_dataops_platform

トップページに概要が記載されています。

プロダクトツアーも公開されていて、これを見るとプロダクトのイメージが分かります。ざっと見てみましたが、ユースケースから解決する課題、実際の画面など利用シーンがよく分かるものになっていました。

Cognite Product Tour 2024

アーキテクチャ

アーキテクチャと実装（3 分） | Cognite Documentation

日本語ドキュメントが用意されているのは意外でした。CDFプラットフォーム自体は、クラウドで動作し、以下のモジュール式設計になっているとのこと。

CDFのアーキテクチャは以下の主要コンポーネントで構成されています。

1. データ統合レイヤー

   • ETL (Extract, Transform, Load) プロセス
   • データコネクター
   • API
   • データ仮想化技術

2. データ処理

   • データのフィルタリング、クレンジング、エンリッチメント
   • リアルタイムおよびバッチ処理機能

3. データストレージ

   • RAWデータストア
   • Cogniteリソースタイプ（時系列、アセット、イベントなど）

4. コンテキスト化エンジン

   • AIと機械学習を活用したデータ関係性の自動構築
   • ルールエンジンによるデータマッピング

5. セキュリティとガバナンス

   • アクセス制御システム
   • データ暗号化
   • 監査ログ機能

6. アプリケーション層

   • データ可視化ツール
   • アナリティクスプラットフォーム
   • AIと機械学習機能

実際の実装ステップのイメージについては、それぞれ個別のドキュメントが用意されているので見てみてください。

• アーキテクチャと実装（3 分） | Cognite Documentation
• データモデル（3分） | Cognite Documentation
• データガバナンス（3分） | Cognite Documentation
• データを統合する（3分） | Cognite Documentation
• ソリューションを構築する（2分） | Cognite Documentation

データモデルの部分は興味深く、直接のデータモデルを保持するコンテナとそれを分析用途でアクセスする方法を定義するビューに分けられているのがわかります。

もう少し詳細は、以下の動画に挙げられていました。

https://www.youtube.com/watch?v=KIaUF5oV_uY

データ取り込みレイヤー

• 目的に特化したエクストラクターが、様々な産業用ソースからデータを取り込みます
• IT、OT、エンジニアリングデータ（産業用ヒストリアンやPLCなど）が含まれます
• AWS IoT GreengrassやAWS IoT SiteWiseを通じて、スマートセンサーやゲートウェイからのデータも取り込みます

データ処理レイヤー

• 取り込まれたデータは、最初に品質チェックと検証を受けます
• 生データは、CDFのデータモデルに変換されます
• コンテキスト化プロセスにより、異なるシステムからのアセット名が一意のグローバル識別子にマッピングされます

データストレージとインデックス

• 高速な集計とクエリのために、データは異なる方法でインデックス化されます
• 3Dモデルなどの大規模データも処理され、ブラウザで表示可能になります

APIとSDK

• すべての情報は、最新のRESTベースのAPIを通じて利用可能です
• Python、JavaScript、Spark、OData、Grafanaなど、多くの一般的なプログラミング言語やアナリティクスツール用のコネクターとSDKが提供されています

アプリケーションレイヤー

• Canvas、AI Copilot、InField、InRobot、Maintain、Chartsなどのコアユーザーエクスペリエンス（UX）とアプリが提供されています
• これらのアプリは、コンテキスト化された産業データを使用して構築された産業知識グラフを活用します

クラウドインフラストラクチャ

• CDFはクラウドベースで動作し、AWSなどのクラウドプラットフォーム上で提供されます
• AWS Lambda、Amazon API Gateway、AWS Glueなどのサービスを活用してデータの取り込み変換します

AWSのサービスでIDFを実現している例

ここまで、Industrial Data Fabricの実装例としてパートナーソリューションを中心に紹介してきましたが、re:Invent 2024には、AWSのソリューションを駆使してIndustrial Data Fabricを推進するセッションも有りました。

こちらの動画を参考にすると、AWSのどんなサービスを利用すると、IDFが実現できるのかがイメージできます。一般的なIDFのアーキテクチャも紹介されているのでめちゃくちゃわかりやすいです。

https://www.youtube.com/watch?v=pLBBtkR521Y

IDFのフレームワーク。

データアーキテクチャ。

上記を実現するAWSの各サービス。Cold data部分には、Amazon Neptuneなどのグラフデータベースが採用されています。

セッションの全体的な内容の要約を把握するには、以下の記事が参考になります。こちらも合わせてみてもらえれば。

• re:Invent 2024: AWSが提案する製造業のIndustrial Data Fabric戦略

製造業におけるIndustrial Data Fabricの今後を注視しよう！

Industrial Data Fabric（IDF）は、製造業のデジタルトランスフォーメーションを加速させる重要な技術基盤となるでしょう。まだ、具体的な実装はソリューションは特に日本ではこれからの部分かなと感じますが、今後、IDFの活用はさらに進化し、AIや機械学習との統合が深まることで、より高度な予測分析や自動化が実現されるかもしれません。

また、エッジコンピューティングとの連携により、リアルタイムデータ処理の効率が飛躍的に向上したり、業界横断的なデータ共有や協業を促進しサプライチェーン全体の最適化にも波及していくかもしれません。

実装の手段はこれからも様々なものが出てくると思うんですが、そのフレームワークや思想自体は、製造業におけるデータ活用の課題を真正面から解消しようとするものであるため、今からでもその概念を頭の片隅に置きつつ、現場のデータ活用に活かしていくことができると良いのかなと思います。

それでは、今日はこのへんで。濱田孝治（ハマコー）（@hamako9999）でした。